Bob Ross được sinh ra ở Daytona Beach, Florida, với cha là Jack Ross (một thợ mộc người Cherokee) và mẹ là Ollie Ross (một người làm phục vụ bàn), sau này lớn lên ở Orlando, Florida. Khi còn là một đứa trẻ, Ross đã dành thời gian để chăm sóc những con vật bị thương, chủ yếu bao gồm cả thú có mai, rắn và cá sấu. Một trong số đó là chú sóc mang tên Peapod (biệt danh đầy đủ là "Peapod The Pocket Squirrel"), được giới thiệu trong một vài tập của chương trình. Một con sóc khác, giống cái và bị bệnh động kinh, được Bob gọi là "Squirrely Wirrelly Brown" (con sóc được một bác sĩ thú y cứu chữa và chỉ sống được 6 tháng nhưng Bob vẫn nhắc về nó 4 đến 5 năm sau kể từ khi nhận nuôi) thì ít khi xuất hiện hơn (nó thường sống dưới tầng hầm nhà ông, bên trong một cái lồng lớn, nằm cạnh nơi mà nó có thể thấy ông vẽ). Ông có một người anh em cùng cha khác mẹ, Jim, người đã từng được ông nhắc đến trong chương trình của mình. Ross bỏ học cấp ba vào năm lớp 9 để làm thợ mộc cùng cha khi ông bị mất một phần ngón tay trỏ trái. Tuy nhiên, điều này không ảnh hưởng đến cách ông cầm bảng màu trong khi vẽ.